No nordeste dos Estados Unidos, o Golfo do Maine representa um dos ecossistemas marinhos com maior diversidade biológica do planeta — lar de baleias, tubarões, águas-vivas, arenques, plâncton e centenas de outras espécies. Mas, mesmo abrigando uma rica biodiversidade, esse ecossistema está passando por rápidas mudanças ambientais. O Golfo do Maine está aquecendo mais rápido do que 99% dos oceanos do mundo, com consequências que ainda estão se manifestando.

Uma nova iniciativa de pesquisa em desenvolvimento no MIT Sea Grant, chamada LOBSTgER — abreviação de Learning Oceanic Bioecological Systems Through Generative Representations — reúne inteligência artificial e fotografia subaquática para documentar a vida oceânica que ficou vulnerável a essas mudanças e compartilhá-las com o público de novas maneiras visuais. Co-liderado pelo fotógrafo subaquático e artista visitante do MIT Sea Grant Keith Ellenbogen e pelo aluno de doutorado em engenharia mecânica do MIT Andreas Mentzelopoulos, o projeto explora como a IA generativa pode expandir a narrativa científica com base em dados fotográficos de campo.

Assim como a câmera do século XIX transformou nossa capacidade de documentar e revelar o mundo natural — capturando a vida com detalhes sem precedentes e trazendo ambientes distantes ou ocultos à vista — a IA generativa marca uma nova fronteira na narrativa visual. Assim como a fotografia inicial, a IA abre um espaço criativo e conceitual, desafiando como definimos autenticidade e como comunicamos perspectivas científicas e artísticas. 

No projeto LOBSTgER, modelos generativos são treinados exclusivamente em uma biblioteca selecionada de fotografias subaquáticas originais de Ellenbogen — cada imagem criada com intenção artística, precisão técnica, identificação precisa das espécies e contexto geográfico claro. Ao construir um conjunto de dados de alta qualidade baseado em observações do mundo real, o projeto garante que as imagens resultantes mantenham a integridade visual e a relevância ecológica. Além disso, os modelos do LOBSTgER são construídos usando código personalizado desenvolvido por Mentzelopoulos para proteger o processo e os resultados de quaisquer possíveis vieses de dados ou modelos externos. A IA generativa do LOBSTgER baseia-se em fotografias reais, expandindo o vocabulário visual dos pesquisadores para aprofundar a conexão do público com o mundo natural.

Em sua essência, o LOBSTgER opera na intersecção entre arte, ciência e tecnologia. O projeto se baseia na linguagem visual da fotografia, no rigor observacional das ciências marinhas e no poder computacional da IA ??generativa. Ao unir essas disciplinas, a equipe não está apenas desenvolvendo novas maneiras de visualizar a vida oceânica, mas também reimaginando como histórias ambientais podem ser contadas. Essa abordagem integrativa torna o LOBSTgER tanto uma ferramenta de pesquisa quanto um experimento criativo — um experimento que reflete a longa tradição de inovação interdisciplinar do MIT.

A fotografia subaquática nas águas costeiras da Nova Inglaterra é notoriamente difícil. Visibilidade limitada, sedimentos em turbilhão, bolhas e o movimento imprevisível da vida marinha representam desafios constantes. Nos últimos anos, Ellenbogen tem superado esses desafios e está construindo um registro abrangente da biodiversidade da região por meio do projeto "Space to Sea: Visualizing New England's Ocean Wilderness" (Do Espaço para o Mar: Visualizando a Natureza Oceânica da Nova Inglaterra). Este amplo conjunto de dados de imagens subaquáticas fornece a base para o treinamento dos modelos de IA generativa do LOBSTgER. As imagens abrangem diversos ângulos, condições de iluminação e comportamentos animais, resultando em um arquivo visual artisticamente impressionante e biologicamente preciso.

Os modelos de difusão personalizados do LOBSTgER são treinados para replicar não apenas a biodiversidade documentada por Ellenbogen, mas também o estilo artístico que ele utiliza para capturá-la. Ao aprender com milhares de imagens subaquáticas reais, os modelos internalizam detalhes precisos, como gradientes de iluminação natural, coloração específica da espécie e até mesmo a textura atmosférica criada por partículas suspensas e luz solar refratada. O resultado são imagens que não só parecem visualmente precisas, mas também imersivas e comoventes.

Os modelos podem gerar imagens novas, sintéticas, mas cientificamente precisas, incondicionalmente (ou seja, sem necessidade de intervenção/orientação do usuário) e aprimorar fotografias reais condicionalmente (ou seja, geração de imagem para imagem). Ao integrar a IA ao fluxo de trabalho fotográfico, a Ellenbogen poderá usar essas ferramentas para recuperar detalhes em águas turvas, ajustar a iluminação para enfatizar assuntos-chave ou até mesmo simular cenas que seriam quase impossíveis de capturar em campo. A equipe também acredita que essa abordagem pode beneficiar outros fotógrafos subaquáticos e editores de imagem que enfrentam desafios semelhantes. Esse método híbrido foi projetado para acelerar o processo de curadoria e permitir que os contadores de histórias construam uma narrativa visual mais completa e coerente da vida abaixo da superfície.

Em uma série importante, Ellenbogen capturou imagens de alta resolução de medusas-juba-de-leão, tubarões-azuis, lagostas-americanas e peixes-lua ( Mola mola ) enquanto mergulhava em águas costeiras. "Obter um conjunto de dados de alta qualidade não é fácil", diz Ellenbogen. "Exige múltiplos mergulhos, oportunidades perdidas e condições imprevisíveis. Mas esses desafios são parte do que torna a documentação subaquática difícil e gratificante."

Mentzelopoulos desenvolveu um código original para treinar uma família de modelos de difusão latente para LOBSTgER com base nas imagens de Ellenbogen. Desenvolver tais modelos exige um alto nível de conhecimento técnico, e treinar modelos do zero é um processo complexo que exige centenas de horas de computação e ajustes meticulosos de hiperparâmetros.

O projeto reflete um processo paralelo: documentação de campo por meio de fotografia e desenvolvimento de modelos por meio de treinamento iterativo. Ellenbogen trabalha em campo, capturando encontros raros e fugazes com animais marinhos; Mentzelopoulos trabalha no laboratório, traduzindo esses momentos em contextos de aprendizado de máquina que podem estender e reinterpretar a linguagem visual do oceano.

“O objetivo não é substituir a fotografia”, diz Mentzelopoulos. “É desenvolvê-la e complementá-la — tornando o invisível visível e ajudando as pessoas a enxergar a complexidade ambiental de uma forma que ressoe emocional e intelectualmente. Nossos modelos visam capturar não apenas o realismo biológico, mas também a carga emocional que pode impulsionar o engajamento e a ação no mundo real.”

LOBSTgER aponta para um futuro híbrido que combina observação direta com interpretação tecnológica. O objetivo de longo prazo da equipe é desenvolver um modelo abrangente que possa visualizar uma ampla gama de espécies encontradas no Golfo do Maine e, eventualmente, aplicar métodos semelhantes a ecossistemas marinhos em todo o mundo.

Os pesquisadores sugerem que a fotografia e a IA generativa formam um continuum, em vez de um conflito. A fotografia captura o que é — a textura, a luz e o comportamento animal durante encontros reais — enquanto a IA estende essa visão para além do que é visto, em direção ao que pode ser compreendido, inferido ou imaginado com base em dados científicos e visão artística. Juntos, eles oferecem uma estrutura poderosa para comunicar ciência por meio da criação de imagens.

Em uma região onde os ecossistemas estão mudando rapidamente, o ato de visualizar se torna mais do que apenas documentação. Torna-se uma ferramenta de conscientização, engajamento e, em última análise, conservação. O LOBSTgER ainda está em seus estágios iniciais, e a equipe está ansiosa para compartilhar mais descobertas, imagens e insights à medida que o projeto evolui.

Resposta da imagem principal: A imagem da esquerda foi gerada usando os modelos incondicionais do LOBSTgER e a imagem da direita é real.

Para mais informações, entre em contato com Keith Ellenbogen e Andreas Mentzelopoulos .